AI Papers Daily

#Long-context LLM

2 篇

Virtual Head Attention

虚拟头注意力：线性重参数化实现双重 KV 压缩与质量提升

🧭 长上下文 LLM · 注意力重参数化 ★ 深度解读

Baidu Inc. · Peking University

通过 Q Premix 与 Linear Postmix 将训练后模型吸收为标准 GQA-2，实现 KV cache 4 倍压缩、训练 FLOPs 下降且质量提升

📌 工作参考价值（4 点）

• 线上长序列生成式推荐/Agent 工具调用受 KV cache 限制时，可参考 VHA：训练时加入线性头间混合，推理时重新参数化为标准 GQA-2，无需改推理框架；已有 GQA-8 服务可尝试降到 2 个 KV heads 并配合 Premix/Postmix，保持质量同时降低 4 倍缓存。
• (I+BA^T) 低秩 identity-residual 结构可迁移到多场景/多任务序列建模的输出融合，低秩约束提供隐式正则化，防止跨 head 混合过拟合；电商多业务场景可用其做 soft routing 而非共享 attention。
• Premix 的 per-group query transform 能实现 group-conditioned query specialization，在用户长期行为序列中根据不同 KV group 学习不同查询方向，不增加缓存即提升注意力多样性。
• 消融显示单纯 halve heads 会损失质量，必须同时在 query 侧做虚拟扩展、在输出侧做跨组融合；如果要在推荐模型中压缩 attention 头数，应同时设计两侧补偿，缺一不可。

LLM | 2026-10-12 | HF Daily | score 8/10

Virtual Head AttentionKV cache compressionGrouped-Query AttentionReparameterizationLong-context LLMMoE

Learning What to Remember: Long-horizon Counterfactual Memory Optimization

学习该记住什么：长时程反事实记忆优化

🧭 长时记忆优化 · 反事实信用分配 ★ 深度解读

University of Michigan

提出 MGPO 用反事实差分给每次记忆改写分配长时程增量效用，训练紧凑可迁移记忆策略

📌 工作参考价值（4 点）

• 在会话式推荐或多轮 Agent 中，对用户画像/上下文的每次更新，用反事实差分评估该更新对后续推荐或决策的增量价值，而不是仅用最终转化或奖励信号，能更准确地学习何时保留、丢弃或改写记忆。
• 工程上解耦记忆写入器与下游读取器（推荐模型/LLM），可以用小模型训练 compact 记忆生成策略，再服务于多个大模型，降低推理延迟和成本；论文中 8B writer + 14B reader 的组合可跨模型家族复用。
• 采用 potential-based reward shaping 技巧：从回报中减去更新前状态的未来效用作为控制变量，保持策略梯度无偏同时降低方差，训练更稳定。
• 对于长文档/长会话中延迟价值的信息，设计跨未来多个步骤的边际收益聚合，并用位置相关 EMA 归一化不同步长的回报，可借鉴到长时记忆策略的 RL 训练。

Training | 2026-09-29 | cs.CL | score 8/10

Memory OptimizationCounterfactual Credit AssignmentPPOLong-context LLMDocument-level IEPotential-based Reward Shaping